在这封信中提出了一种新的基于触诊的切口检测策略，潜在地用于机器人气管术。引入触觉传感器以通过轻轻接触测量特定喉部区域中的组织硬度。提出了内核融合方法以将平方指数（SE）内核与ornstein-uhlenbeck（OU）内核组合，以弄清楚现有内核功能在这种情况下的缺点是不够最佳的。此外，我们进一步规则化探索因子和贪婪因子，并且触觉传感器的移动距离和机器人基准的旋转角度在切口定位过程中被认为是采集策略中的新因素。我们进行了模拟和物理实验，以比较新提出的算法 - 重新分配采集策略与热气检测中的能量限制（RASEC），具有当前的触诊的采集策略。结果表明，具有融合内核的建议采集策略可以通过最高算法性能成功定位切口（平均精度0.932，平均召回0.973，平均F1得分0.952）。在机器人触发过程中，累积移动距离减少了50％，累积旋转角度减少了71.4％，没有牺牲在综合性能能力中。因此，证明RASEC可以有效地表明喉部区域中的切割区域，大大降低了能量损失。

为了促进机器人技术和AI的最新进展，以进行人类和机器之间的微妙合作，我们提出了Kinova Gemini，这是一种原始的机器人系统，它整合了对话式AI对话和视觉推理，以使Kinova gen3 Lite机器人帮助人们撤回基于观念的对象或完全基于感知的对象选择任务。当一个人走到Kinova Gen3 Lite时，我们的Kinova Gemini能够在三种不同的应用程序中满足用户的要求：（1）它可以与人们进行自然对话，以互动并协助人类检索物体并将其交给用户，并将其交给用户。逐个。 （2）它通过Yolo V3检测到不同的对象，并识别物品的颜色属性，以询问人们是否想通过对话来掌握它，或者使用户可以选择需要哪个特定的特定特定的对象。 （3）它应用了Yolo V3来识别多个对象，并让您选择两个基于感知的挑选和位置任务，例如“将香蕉放入碗中”，并具有视觉推理和对话性交互。

本文在移动平台上介绍了四摩托车的自动起飞和着陆系统。设计的系统解决了三个具有挑战性的问题：快速姿势估计，受限的外部定位和有效避免障碍物。具体而言，首先，我们基于Aruco标记设计了着陆识别和定位系统，以帮助四极管快速计算相对姿势。其次，我们利用基于梯度的本地运动计划者快速生成无冲突的参考轨迹；第三，我们构建了一台自主状态机器，使四极管能够完全自治完成其起飞，跟踪和着陆任务；最后，我们在模拟，现实世界和室外环境中进行实验，以验证系统的有效性并证明其潜力。

Reorienting objects using extrinsic supporting items on the working platform is a meaningful, nonetheless challenging manipulation task, considering the elaborate geometry of the objects and the robot's feasible motions. In this work, we propose a pipeline using the RGBD camera's perception results to predict objects' stable placements afforded by supporting items, including a generation stage, a refinement stage, and a classification stage. Then, we construct manipulation graphs that enclose shared grasp configurations to transform objects' stable placements. The robot can reorient objects through sequential pick-and-place operations based on the manipulation graphs. We show in experiments that our approach is effective and efficient. The simulation experiments demonstrate that our pipeline can generalize to novel objects in random start poses on the working platform, generating diverse placements with high accuracy. Moreover, the manipulation graphs are conducive to providing collision-free motions for the robot to reorient objects. We also employ a robot in real-world experiments to perform sequential pick-and-place operations, indicating that our method can transfer objects' placement poses in real scenes.

最近，Koopman操作员已成为一个有前途的数据驱动工具，可促进未知非线性系统的实时控制。它将非线性系统映射到嵌入空间中的等效线性系统中，准备实时线性控制方法。但是，设计合适的Koopman嵌入功能仍然是一项具有挑战性的任务。此外，大多数基于Koopman的算法仅考虑具有线性控制输入的非线性系统，从而在系统完全非线性具有控制输入时会导致糟糕的预测和控制性能。在这项工作中，我们提出了一个端到端的深度学习框架，以学习Koopman嵌入功能和Koopman操作员，以减轻此类困难。我们首先使用神经网络对嵌入功能和Koopman操作员进行参数化，并使用K-Steps损耗函数端到端训练它们。然后，增强辅助控制网络以编码非线性状态依赖性控制项，以模拟控制输入中的非线性。该编码术语被认为是新的控制变量，而是确保嵌入式系统中建模系统的线性性。我们下一个在线性嵌入空间上部署线性二次调节器（LQR），以得出最佳控制策略并从控制网。实验结果表明，我们的方法优于其他现有方法，通过数量级的顺序降低预测误差，并在几种非线性动态系统（如阻尼摆，Cartpole和七个DOF机器人手动机器）中实现出色的控制性能。

基于采样的路径规划算法通常实现均匀的采样方法来搜索状态空间。然而，统一的采样可能导致许多情况下不必要的探索，例如具有几个死角的环境。我们以前的工作建议使用有希望的区域来指导采样过程来解决问题。然而，预测的有希望区域通常是断开连接，这意味着它们无法连接到开始和目标状态，导致缺乏概率完整性。这项工作侧重于提高预测有前途地区的连通性。我们所提出的方法在x和y方向上回归边缘的连接概率。此外，它可以计算丢失中有希望的边缘的重量，以引导神经网络更加关注有前景区域的连通性。我们进行一系列仿真实验，结果表明，有前途地区的连接性显着提高。此外，我们分析了连接基于采样的路径规划算法的影响，并得出结论，连接在维护算法性能方面发挥着重要作用。

超声（US）成像通常用于协助诊断和脊柱疾病的干预，而通过手动操作探针进行标准化美国收购需要大量的经验和超声检查的培训。在这项工作中，我们提出了一种新的双代理框架，集成了强化学习（RL）代理和深度学习（DL）代理，以共同确定基于实时超声图像美国探测器的移动，以模拟专家超声检查操作者的决策过程，以实现脊柱超声自主标准视图收购。此外，通过美国传播的性质和脊柱解剖的特性的启发，我们引入一个视图特定的声影奖励利用阴影信息来隐式地引导朝向脊柱的不同标准视图探针的导航。我们的方法在从$ $ 17名志愿者获得的美国经济数据建立了一个模拟环境的定量和定性实验验证。平均导航精度朝向不同的标准视图达到$5.18毫米/ 5.25 ^ \ CIRC $ $和12.87毫米/ 17.49 ^ \ CIRC $在分子内和主体间设置，分别。结果表明，我们的方法可以有效地解释美国的图像和导航探头获取脊柱多种标准的意见。

近年来，对主动无线胶囊内窥镜（WCE）的同时磁力驱动和定位（SMAL）进行了集中研究，以提高检查的效率和准确性。在本文中，我们提出了一种用于主动WCE的自主磁导航框架，其模仿常规结肠镜检查的专家医师的“插入”和“提取”程序，从而使机器人胶囊内窥镜在肠道中有效和准确地进行了最小的用户努力。首先，胶囊通过未知的肠道环境自动推进，并产生一种代表环境的可行路径。然后，胶囊被自主地驶向肠道轨迹上选择的任何点，以便准确和反复检查可疑病变。此外，我们在加入高级Smal算法的机器人系统上实现了导航框架，并在使用幽灵和前体内猪结肠中验证各种管状环境的导航中。我们的结果表明，拟议的自主导航框架可以有效地在未知，复杂的管状环境中导航胶囊，其与手动操作相比具有令人满意的精度，重复性和效率。

目前使用的无线胶囊内窥镜检查（WCE）是在检查时间和柔韧性方面有限的，因为胶囊被蠕动被动地移动，并且不能精确定位。已经提出了基于同时磁力驱动和定位技术的WCE的有效运动来促进不同的方法。在这项工作中，我们研究了在管状环境中旋转磁性致动下的机器人胶囊问题的轨迹，以实现使用无线胶囊内窥镜在给定点对肠道的安全，高效准确地检查肠道。具体而言，基于PD控制器，自适应控制器，模型预测控制器和鲁棒的多级模型预测控制器，开发了四种轨迹之后的策略。此外，我们的方法通过在控制器设计期间模拟肠蠕动和摩擦来考虑肠环境中的不确定性。我们验证了我们在仿真中的方法以及在各种管状环境中的实际实验中，包括具有不同形状和前体内猪结肠的塑料幽灵。结果表明，我们的方法可以有效地致动往复旋转的胶囊，以遵循复杂的管状环境中的所需轨迹，从而具有能够对高质量诊断进行准确和可重复检查的肠道。

Despite significant progress in object categorization, in recent years, a number of important challenges remain; mainly, the ability to learn from limited labeled data and to recognize object classes within large, potentially open, set of labels. Zero-shot learning is one way of addressing these challenges, but it has only been shown to work with limited sized class vocabularies and typically requires separation between supervised and unsupervised classes, allowing former to inform the latter but not vice versa. We propose the notion of vocabulary-informed learning to alleviate the above mentioned challenges and address problems of supervised, zero-shot, generalized zero-shot and open set recognition using a unified framework. Specifically, we propose a weighted maximum margin framework for semantic manifold-based recognition that incorporates distance constraints from (both supervised and unsupervised) vocabulary atoms. Distance constraints ensure that labeled samples are projected closer to their correct prototypes, in the embedding space, than to others. We illustrate that resulting model shows improvements in supervised, zero-shot, generalized zero-shot, and large open set recognition, with up to 310K class vocabulary on Animal with Attributes and ImageNet datasets.